Ban đầu Tổng chưởng lý chỉ là một người đơn độc, làm việc một phần thời gian, được lập ra theo Đạo luật Tư pháp năm 1789. Có khi người này giúp tư vấn pháp luật cho Quốc hội Hoa Kỳ cũng như cho Tổng thống Hoa Kỳ nhưng sau đó thì chấm dứt vào năm 1819 vì sức tải của công việc.

Năm 1867, Ủy ban Hạ viện Hoa Kỳ đặc trách về Tư pháp (U.S. House Committee on the Judiciary), do dân biểu William Lawrence lãnh đạo, đã tiến hành một cuộc thăm dò để thành lập một"bộ luật pháp"có một Tổng chưởng lý lãnh đạo và gồm có nhiều luật sư các bộ khác nhau và các Công tố viên Hoa Kỳ. Vào ngày 19 tháng 2 năm 1868, Lawrence giới thiệu một đạo luật tại Quốc hội Hoa Kỳ để thành lập Bộ Tư pháp Hoa Kỳ. Tuy nhiên đạo luật đầu không thành công vì Lawrence không thể tận dụng nhiều thời gian để nó được thông qua mà ông bận phải dành thời gian cho việc luận tội Tổng thống Andrew Johnson.

Đạo luật thứ hai được dân biểu Rhode Island là Thomas Jenckes trình lên Quốc hội ngày 25 tháng 2 năm 1870, và nó được thông qua ở cả Thượng viện và Hạ viện. Tổng thống Ulysses S. Grant ký đạo luật này thành luật vào ngày 22 tháng 6 năm 1870. Bộ Tư pháp chính thức bắt đầu hoạt động vào ngày 1 tháng 7 năm 1870.

Đạo luật có tên "Đạo luật thành lập Bộ Tư pháp" đã không thay đổi trách nhiệm của Tổng chưởng lý nhiều cũng như tiền lương và nhiệm kỳ vẫn giữ như cũ. Luật dựng lên một văn phòng mới có tên là Tổng biện lý sự vụ (Solicitor General) để giám sát và thực hiện các vụ kiện hay tranh chấp của chính phủ trước Tối cao Pháp viện Hoa Kỳ.

Với việc thông qua Đạo luật Thương mại Liên tiểu bang năm 1887, Chính phủ liên bang Hoa Kỳ bắt đầu bắt tay đảm nhiệm một số trách nhiệm thi hành pháp lý mà Bộ Tư pháp là cơ quan thực hiện các bổn phận này.[1]

Năm 1872, việc giám sát các nhà tù liên bang đã được thuyên chuyển từ Bộ Nội vụ Hoa Kỳ sang cho bộ mới thành lập này. Các cơ sở vật chất mới được xây dựng trong đó có trại cải huấn ở Leavenworth năm 1895, và một nhà tù dành cho phụ nữ ở Tây Virginia. Trại tù Alderson được xây vào năm 1924.[2]